количество взаимной информации в случайных величинах

 

количество взаимной информации в случайных величинах
Мера уменьшения неопределенности случайной величины, возникающего вследствие того, что становится известным значение другой случайной величины, усредненного по знаниям последней; для дискретных случайных величин ее выражение имеет вид

где суммирование ведется по всему множеству значений х^_n, у^m случайных величин Xⁿ, y^m; для непрерывных случайных величин ее выражение имеет вид

где интегрирование ведется по всему множеству значений xⁿ, у^m случайных величин Хⁿ, У^m.
Примечания
1. Вместо термина «количество взаимной информации в случайных величинах» иногда употребляют выражение «количество информации о случайной величине, содержащееся в другой случайной величине».
2. Общая форма математической записи выражения количества взаимной информации, справедливая в произвольном случае, имеет вид

где Р(хⁿ, у^m), Р(хⁿ) и Р(у^m) —вероятностные меры, заданные соответственно на множествах значений {хⁿ, у^m), хⁿ и у^m случайных величии (Xⁿ, У^m), Хⁿ и У^m.
[Сборник рекомендуемых терминов. Выпуск 94. Теория передачи информации. Академия наук СССР. Комитет технической терминологии. 1979 г.]

Тематики

• теория передачи информации

EN

• mutual information between two random variables